Uvod u R

Sadržaj

1. Općenito o R-u

2. Rstudio

3. Paketi i Tidyverse

4. Data science proccess

5. Dohvat podataka

6. Priprema podataka

7. Analiza i komunikacija

8. Sljedeći koraci

1. Općenito o R-u

NAPOMENA! Sve što ću danas pričati vrijedi i za druge programske jezike i mislim da se sve ove funkcionalnosti mogu naći i u drugim jezicima, R je samo moj program odabira na kojem sam se učio raditi analitiku, cilj ove prezentacije nije R kao jezik nego stvari koje se mogu općenito raditi u programskim jezicima. U trenutku pisanja R je prema TIOBE indeksu 13. na ljestvici najpopularnijih jezika.

R je besplatan programski jezik koji su u 90-ima osmislili Ross Ihaka i Robert Gentleman iz Novog Zelanda link na wikipedia stranicu. Ono što je važno napomenuti da je R open source jezik i kao takav je besplatan i stalno se razvija jer ima vrlo aktivnu zajednicu.

---

R se može besplatno skinuti i instalirati ovdje. Instalacija je vrlo jednostavna (next -> next -> next). Kada se instalira, onda se na desktopu stvori ikoan preko koje se pokreće:

Kada se RGui aplikacija pokrene, sučelje izgleda ovako:

2. Rstudio

Većina ljudi kada govori o R-u, zapravo misli na Rstudio sučelje koje se može skinuti i instalirati ovdje. Rstudio koje privatna kompanija koja za sebe kaže sljedeće:

RStudio’s mission is to create free and open-source software for data science, scientific research, and technical communication. We do this to enhance the production and consumption of knowledge by everyone, regardless of economic means, and to facilitate collaboration and reproducible research, both of which are critical to the integrity and efficacy of work in science, education, government, and industry.

Nakon što instaliramo i pokrenemo Rstudio, sučelje izgleda ovako:

Mrkli mrak, zar ne? :)

Što se funkcionalnosti, sve što može Rstudio, može i RGui, no ono u čemu Rstudio prednjači je korisničko iskustvo. Neke od cool funkcionalnosti koje su dostupne u Rstudiju su:

• tamna pozadina :)
• povezivanje s Github-om (o tome više kasnije)
• Viewer
• Rmarkdown
• Shiny
• pomoć pri pisanju (različite boje za različite objekte, zatvaranje zagrada, autocorrect, sugeriranje riječi, itd…)

3. Paketi i Tidyverse

Ono što R i slične programe čini izuzetno moćnima je sposobnost podizanja parametrizacije na nekoliko razina apstrakcije.

Najpoznatiji “svemir” aplikacija koje su međusobno konzistentne i međusobno “komuniciraju” je Tidyverse koji razvija upravo Rstudio ekipa:

Popratni materijali vezano za sve pakete u sklopu Tydiversea mogu se pronaći ovdje, pri čemu za ove najvažnije pakete postoje fora šalabahteri. Osim šalabahtera postoje i online knjige, te čak i webinari.

Naravno da ovo nije cijeli “svemir” R paketa, koji trenutno broji preko 15000 paketa.

4. Data science proccess

Proces svake kvantitativne analize se sastoji od 3 ključna dijela i kod sva 3 dijela R nudi vrhunska rješenja.

5. Povezivanje s izvorima podataka

5.1. ECB

ECB ima jako dobro osmišljen sustav skladišta podataka gdje je svaki podatak jednoznačno određen sa jedinstvenim kodom - primjer CLIFS indikatora za HR link:

CLIFS.M.HR._Z.4F.EC.CLIFS_CI.IDX

library(ecb)
library(tidyverse)
library(lubridate)
pom <- get_data("CLIFS.M.._Z.4F.EC.CLIFS_CI.IDX") %>% select(ref_area,obstime,obsvalue) %>% mutate(datum = make_date(ifelse(substr(obstime,6,7)=="12",as.numeric(substr(obstime,1,4))+1,as.numeric(substr(obstime,1,4))), ifelse(substr(obstime,6,7)=="12",1,as.numeric(substr(obstime,6,7))+1), 1)-1) 
ggplot(pom,aes(x=datum,y=obsvalue)) + geom_line() + facet_wrap(~ref_area)

reg = data.frame(ref_area=c("AT","BE","BG","HR","CY","CZ","DK","EE","FI","FR","DE","GR","HU","IE","IT","LV","LT","LU","MT","NL","PL","PT","RO","SK","SI","ES","SE","GB","U2","I8"),country=c("Austria","Belgium","Bulgaria","Croatia","Cyprus","Czech Republic","Denmark","Estonia","Finland","France","Germany","Greece","Hungary","Ireland","Italy","Latvia","Lithuania","Luxembourg","Malta","Netherlands","Poland","Portugal","Romania","Slovak Republic","Slovenia","Spain","Sweden","Great Britain","EA changing comp.","Euro Area 19"),regija=c("Other EU","Other EU","CEE","HR","Other EU","CEE","Other EU","CEE","Other EU","Other EU","Other EU","Other EU","CEE","Other EU","Other EU","CEE","CEE","Other EU","Other EU","Other EU","CEE","Other EU","CEE","CEE","CEE","Other EU","Other EU","Other EU","EA changing comp.","Euro Area 19"))
pom <- pom %>% left_join(reg,by="ref_area") %>% group_by(datum,regija) %>% summarise(clifs=mean(obsvalue,na.rm=T))

Column `ref_area` joining character vector and factor, coercing into character vector

ggplot(pom,aes(x=datum,y=clifs,col=regija)) + geom_line() + theme(legend.title = element_blank(),legend.position = "top") + labs(x="",y="CLIFS indeks")

rm(pom)

5.2. Eurostat

Eurostat isto ima svoj paket za pristup R-a na njihovo skladište podataka. Kod njih je pristup malo drukčije organiziran, tako da najprije treba specificirati tablicu na koju se spajamo - primjer za BDP.

library(eurostat)
# 1.1. YOY stopa rasta BDP-a
pom1 <- get_eurostat(id="namq_10_gdp") %>% filter(geo=="HR" & na_item=="B1GQ" & s_adj=="NSA" & unit=="CLV10_MNAC") %>% select(time,bdp=values) %>% arrange(time) %>% as.data.frame()

trying URL 'https://ec.europa.eu/eurostat/estat-navtree-portlet-prod/BulkDownloadListing?sort=1&file=data%2Fnamq_10_gdp.tsv.gz'
Content type 'application/octet-stream;charset=UTF-8' length 13884763 bytes (13.2 MB)
downloaded 13.2 MB

# 1.2. Doprinos - potrošnja kućanstava
pom2 <- get_eurostat(id="namq_10_gdp") %>% filter(geo=="HR" & na_item=="P31_S14_S15" & s_adj=="NSA" & unit=="CLV10_MNAC") %>% select(time,c_hh=values) %>% arrange(time)

# 1.3. Doprinos - potrošnja države
pom3 <- get_eurostat(id="namq_10_gdp") %>% filter(geo=="HR" & na_item=="P3_S13" & s_adj=="NSA" & unit=="CLV10_MNAC") %>% select(time,c_govt=values) %>% arrange(time)

# 1.4. Doprinos - bruto investicije
pom4 <- get_eurostat(id="namq_10_gdp") %>% filter(geo=="HR" & na_item=="P5G" & s_adj=="NSA" & unit=="CLV10_MNAC") %>% select(time,i_gross=values) %>% arrange(time)

# 1.5. Doprinos - izvoz robe i usluga
pom5 <- get_eurostat(id="namq_10_gdp") %>% filter(geo=="HR" & na_item=="P6" & s_adj=="NSA" & unit=="CLV10_MNAC") %>% select(time,ex=values) %>% arrange(time)

# 1.6. Doprinos - uvoz robe i usluga
pom6 <- get_eurostat(id="namq_10_gdp") %>% filter(geo=="HR" & na_item=="P7" & s_adj=="NSA" & unit=="CLV10_MNAC") %>% select(time,im=values) %>% arrange(time)

# opcija 1 - uvijek gledamo godišnje BDP-ove
pom <- left_join(pom1,pom2,by="time") %>% left_join(pom3,by="time") %>% left_join(pom4,by="time") %>% left_join(pom5,by="time") %>% left_join(pom6,by="time") %>% mutate(datum = make_date(ifelse(month(time)>=10,year(time)+1,year(time)),ifelse(month(time)>=10,1,month(time)+3),1) - 1, bdp_y = (bdp + lag(bdp,1)+ lag(bdp,2) + lag(bdp,3))*1000000 , c_hh_y = (c_hh + lag(c_hh,1)+ lag(c_hh,2) + lag(c_hh,3))*1000000 , c_govt_y = (c_govt + lag(c_govt,1)+ lag(c_govt,2) + lag(c_govt,3))*1000000 , i_gross_y = (i_gross + lag(i_gross,1)+ lag(i_gross,2) + lag(i_gross,3))*1000000 , ex_y = (ex + lag(ex,1)+ lag(ex,2) + lag(ex,3))*1000000 , im_y = (im + lag(im,1)+ lag(im,2) + lag(im,3))*1000000) %>% mutate(dbdp = (bdp_y/lag(bdp_y,4)-1)*100 , dop_c_hh = (c_hh_y/lag(c_hh_y,4)-1)*100*lag(c_hh_y,4)/lag(bdp_y,4) , dop_c_govt = (c_govt_y/lag(c_govt_y,4)-1)*100*lag(c_govt_y,4)/lag(bdp_y,4) , dop_i_gross = (i_gross_y/lag(i_gross_y,4)-1)*100*lag(i_gross_y,4)/lag(bdp_y,4) , dop_ex = (ex_y/lag(ex_y,4)-1)*100*lag(ex_y,4)/lag(bdp_y,4) , dop_im = -(im_y/lag(im_y,4)-1)*100*lag(im_y,4)/lag(bdp_y,4)) %>% select(datum,dbdp,dop_c_hh,dop_c_govt,dop_i_gross,dop_ex,dop_im) %>% na.omit()
colnames(pom) <- c("datum","BDP","Potrošnja kućanstava","Javna potrošnja","Bruto investicije","Izvoz","Uvoz")
pom <- pom %>% gather(key = "varijabla",value = "iznos",-datum)
ggplot(pom %>% filter(varijabla!="BDP"),aes(x=datum,y=iznos,fill=varijabla)) + geom_col(position="stack") + geom_point(data=pom %>% filter(varijabla=="BDP"),aes(x=datum,y=iznos)) + theme(legend.position = "top", legend.title = element_blank()) + labs(x="",y="")

rm(pom1,pom2,pom3,pom4,pom5,pom6,pom)

5.3. Svjetska Banka

Kod njih pristup podacima funkcionira na sličan način kao i kod ECB-a, gdje svaki indikator ima jedinstveni kod - primjer za indikator trgovine na tržištu kapitala u %BDP-a.

library(wbstats)
reg = data.frame(ctry=c("AT","BE","BG","HR","CY","CZ","DK","EE","FI","FR","DE","GR","HU","IE","IT","LV","LT","LU","MT","NL","PL","PT","RO","SK","SI","ES","SE","GB","U2","I8"),country=c("Austria","Belgium","Bulgaria","Croatia","Cyprus","Czech Republic","Denmark","Estonia","Finland","France","Germany","Greece","Hungary","Ireland","Italy","Latvia","Lithuania","Luxembourg","Malta","Netherlands","Poland","Portugal","Romania","Slovak Republic","Slovenia","Spain","Sweden","Great Britain","EA changing comp.","Euro Area 19"),regija=c("Other EU","Other EU","CEE","HR","Other EU","CEE","Other EU","CEE","Other EU","Other EU","Other EU","Other EU","CEE","Other EU","Other EU","CEE","CEE","Other EU","Other EU","Other EU","CEE","Other EU","CEE","CEE","CEE","Other EU","Other EU","Other EU","EA changing comp.","Euro Area 19"))
stocks_traded <- wb(indicator = "CM.MKT.TRAD.GD.ZS")
pom <- stocks_traded %>% filter(iso2c %in% reg$ctry & date %in% c("2014","2015","2016","2017","2018")) %>% select(date,ctry=iso2c,value) %>% group_by(ctry) %>% summarise(value=mean(value,na.rm=T)) %>% left_join(reg,by="ctry") %>% filter(ctry!="US") %>% mutate(regija=ifelse(regija=="CEE","Zemlje SIE",ifelse(regija=="Other EU","Ostale EU zemlje","HR")))

Column `ctry` joining character vector and factor, coercing into character vector

ggplot(pom,aes(x=reorder(ctry,-value),y=value)) + geom_col(aes(fill=regija)) + labs(x="",y="") + theme(legend.position="top",legend.title = element_blank())

rm(reg,stocks_traded,pom)

5.4. OECD

Jedan fora primjer mogućnosti R-a, su rezultati financijske pismenosti koju provodi OECD i koju objalvjuje u PDF-u. Postoji paket u R-u koji ima spoobnost čitanja PDF-ova i uspio je učitati ove podatke sa slike na stranici 10.

library(tabulizer)
pismenost_tablica <- extract_tables("http://www.oecd.org/daf/fin/financial-education/OECD-INFE-International-Survey-of-Adult-Financial-Literacy-Competencies.pdf")
temp <- pismenost_tablica[[3]]
temp <- as.data.frame(temp)
colnames(temp)<-c("ctry_score","knowledge_score","behaviour_score","attitude_score")
temp <- temp %>% separate(ctry_score,c("country","financial_knowledge")," \\(") %>% mutate(financial_knowledge=str_replace(financial_knowledge,"\\)","")) %>% mutate(financial_knowledge=as.numeric(financial_knowledge),knowledge_score=as.character(knowledge_score),behaviour_score=as.character(behaviour_score),attitude_score=as.character(attitude_score)) %>% mutate(knowledge_score=as.numeric(knowledge_score),behaviour_score=as.numeric(behaviour_score),attitude_score=as.numeric(attitude_score))
financijska_pismenost <- temp
reg = data.frame(ctry=c("AT","BE","BG","HR","CY","CZ","DK","EE","FI","FR","DE","GR","HU","IE","IT","LV","LT","LU","MT","NL","PL","PT","RO","SK","SI","ES","SE","GB","U2","US"),country=c("Austria","Belgium","Bulgaria","Croatia","Cyprus","Czech Republic","Denmark","Estonia","Finland","France","Germany","Greece","Hungary","Ireland","Italy","Latvia","Lithuania","Luxembourg","Malta","Netherlands","Poland","Portugal","Romania","Slovak Republic","Slovenia","Spain","Sweden","United Kingdom","EA changing comp.","United States"),regija=c("Other EU","Other EU","CEE","HR","Other EU","CEE","Other EU","CEE","Other EU","Other EU","Other EU","Other EU","CEE","Other EU","Other EU","CEE","CEE","Other EU","Other EU","Other EU","CEE","Other EU","CEE","CEE","CEE","Other EU","Other EU","Other EU","EA changing comp.","US"))
pom <- financijska_pismenost %>% filter(country %in% reg$country) %>% left_join(reg,by="country")

Column `country` joining character vector and factor, coercing into character vector

ggplot(pom,aes(x=reorder(ctry,-financial_knowledge),y=financial_knowledge)) + geom_col(aes(fill=regija)) + geom_hline(yintercept = financijska_pismenost$financial_knowledge[financijska_pismenost$country=="Average, all countries"]) + labs(x="",y="Financijska pismenost") + theme(legend.position="top")

rm(pismenost_tablica,temp,financijska_pismenost,pom)

5.5. EIOPA podaci

EIOPA nije napredna kao ECB ili EUROSTAT u objavi podataka i objavljuje ih u excelima, no i za to imamo sistem.

skripta EIOPA_dohvat_podataka.R

6. Priprema podataka

Važno je naglasiti da je za kvalitetnu analizu nužna dobra priprema podataka. Prema istraživanju CrowdFlower-a, u Data science-u se 80% vremena svodi na pripremu podataka, što je ujedno i najmanje zanimljiv dio procesa.

6.1. Tidy struktura podataka

Kako bi se vrijeme potrebno za obradu podataka, ali i vrijeme za analizu podataka smanjilo, nužno je da podaci budu u tidy formatu.

6.2. Financijski računi

Financijske račune dobivamo na krajnje nestrukturiran način i koji se nalaze ovdje. Ono što R omogućuje je sklapanje u 1 bazu koja se onda može koristiti za analizu i ne samo to nego je na taj način 970MB podataka u excelima pretvoreno u 2.7MB veliki dataframe.

folder Financijski_racuni

Ovakva struktura podataka omogućuje sljedeće slike:

# brisanje privremenih tablica
rm(zadnji_datum,br_dana,pom1,pom2,pom3,pom4,pom,bridovi,vrhovi,graf,financijski_racuni)

object 'zadnji_datum' not foundobject 'br_dana' not foundobject 'pom1' not foundobject 'pom2' not foundobject 'pom3' not foundobject 'pom4' not foundobject 'pom' not foundobject 'bridovi' not foundobject 'vrhovi' not foundobject 'graf' not found

6.3. Shiny aplikacija

Kada su podaci u tidy formatu, onda je moguće napraviti sljedeću aplikaciju za analizu kretanja u sustavu.

folder Shiny bilanca

7. Analiza i komunikacija rezultata

7.1. Plotly

Ovo je primjer Gantt-grafikona koji ste vidjeli prošli tjedan sa vremenskim planom aktivnosti oko pripreme 4. broja Makroprudencijalnog skenera rizika.

skripta gantt_skener4.R

7.2. Gapminder primjer

Hans Rosling je jedno od najpoznatijih imena u statističkim krugovima i veliki popularizator “data sciencea”, njegov TED talk je jedan od najgledanijih ikada (velika preporuka da ga pogledate).

skripta gapminder primjer.R

7.3. Shiny mreže OeNB-a

folder JVI_Contagion

7.4. Mapa EU

Vrlo jednostavno se može napraviti i mapa EU po zemljama. Npr, prikaz definicije regija koje prikazujemo u skeneru.

library(tidyverse)
library(grid)
library(rworldmap)

package 㤼㸱rworldmap㤼㸲 was built under R version 3.6.2Loading required package: sp
### Welcome to rworldmap ###
For a short introduction type :      vignette('rworldmap')

library(eurostat)
library(lubridate)

# Get the world map
worldMap <- getMap()

# Member States of the European Union
reg = data.frame(ref_area=c("AT","BE","BG","HR","CY","CZ","DK","EE","FI","FR","DE","GR","HU","IE","IT","LV","LT","LU","MT","NL","PL","PT","RO","SK","SI","ES","SE","GB"),country=c("Austria","Belgium","Bulgaria","Croatia","Cyprus","Czech Rep.","Denmark","Estonia","Finland","France","Germany","Greece","Hungary","Ireland","Italy","Latvia","Lithuania","Luxembourg","Malta","Netherlands","Poland","Portugal","Romania","Slovakia","Slovenia","Spain","Sweden","United Kingdom"),regija=c("Other EU","Other EU","CEE","HR","Other EU","CEE","Other EU","CEE","Other EU","Other EU","Other EU","Other EU","CEE","Other EU","Other EU","CEE","CEE","Other EU","Other EU","Other EU","CEE","Other EU","CEE","CEE","CEE","Other EU","Other EU","Other EU"))

# Select only the index of states member of the E.U.
indEU <- which(worldMap$NAME %in% reg$country)

# Extract longitude and latitude border's coordinates of members states of E.U. 
europeCoords <- lapply(indEU, function(i){
  df <- data.frame(worldMap@polygons[[i]]@Polygons[[1]]@coords)
  df$region =as.character(worldMap$NAME[i])
  colnames(df) <- list("long", "lat", "region")
  return(df)
})

europeCoords <- do.call("rbind", europeCoords)

# 1. Mapa regija ####
europeanUnionTable <- data.frame(country = reg$country, value = reg$regija)
europeCoords$value <- europeanUnionTable$value[match(europeCoords$region,europeanUnionTable$country)]

# Plot the map
P <- ggplot() + geom_polygon(data = europeCoords, aes(x = long, y = lat, group = region, fill = value), colour = "black", size = 0.1) + coord_map(xlim = c(-13, 35),  ylim = c(32, 71))
P <- P + scale_fill_discrete(name = "Regija", na.value = "grey50")
P <- P + theme(#panel.grid.minor = element_line(colour = NA), panel.grid.minor = element_line(colour = NA),
  #panel.background = element_rect(fill = NA, colour = NA),
  axis.text.x = element_blank(),
  axis.text.y = element_blank(), axis.ticks.x = element_blank(),
  axis.ticks.y = element_blank(), axis.title = element_blank(),
  #rect = element_blank(),
  plot.margin = unit(0 * c(-1.5, -1.5, -1.5, -1.5), "lines"))
P

P <- P + scale_fill_gradient(name = "Growth Rate", low = "#FF0000FF", high = "#FFFF00FF", na.value = "grey50")

Scale for 'fill' is already present. Adding another scale for 'fill', which will replace the existing scale.

Jednako jednostavno se može napraviti i kontinuirana mapa koja npr. prikazuje kumulativni rast BDP-a od 2010. po EU zemljama.

pom <- get_eurostat(id="namq_10_gdp") %>% filter(na_item=="B1GQ" & s_adj=="NSA" & unit=="CLV10_MNAC") %>% select(time,geo,bdp=values) %>% arrange(time) %>% as.data.frame() %>% group_by(geo) %>% mutate(bdp_y = (bdp + lag(bdp,1)+ lag(bdp,2) + lag(bdp,3))) %>% filter(time>="2007-10-01") %>% mutate(datum = make_date(ifelse(month(time)>=10,year(time)+1,year(time)),ifelse(month(time)>=10,1,month(time)+3),1) - 1) %>% select(datum,ref_area=geo,bdp_y) %>% na.omit() %>% ungroup()

Reading cache file C:\Users\MBAMBU~1\AppData\Local\Temp\RtmpIB6cQg/eurostat/namq_10_gdp_date_code_TF.rds
Table  namq_10_gdp  read from cache file:  C:\Users\MBAMBU~1\AppData\Local\Temp\RtmpIB6cQg/eurostat/namq_10_gdp_date_code_TF.rds

baza <- pom %>% filter(datum=="2010-12-31") %>% select(ref_area,baza=bdp_y)
delta_bdp <- left_join(pom,baza,by=c("ref_area")) %>% mutate(indeks=bdp_y/baza*100) %>% filter(datum=="2019-09-30") %>% left_join(reg,by="ref_area") %>% na.omit()

Column `ref_area` joining factors with different levels, coercing to character vector

europeanUnionTable <- data.frame(country = delta_bdp$country, value = delta_bdp$indeks)
europeCoords$value <- europeanUnionTable$value[match(europeCoords$region,europeanUnionTable$country)]

# Plot the map
P <- ggplot() + geom_polygon(data = europeCoords, aes(x = long, y = lat, group = region, fill = value), colour = "black", size = 0.1) + coord_map(xlim = c(-13, 35),  ylim = c(32, 71))
P <- P + scale_fill_gradient(name = "Kumulativni rast BDP-a od 2010.", low = "red", high = "green", na.value = "grey50")
P <- P + theme(#panel.grid.minor = element_line(colour = NA), panel.grid.minor = element_line(colour = NA),
  #panel.background = element_rect(fill = NA, colour = NA),
  axis.text.x = element_blank(),
  axis.text.y = element_blank(), axis.ticks.x = element_blank(),
  axis.ticks.y = element_blank(), axis.title = element_blank(),
  #rect = element_blank(),
  plot.margin = unit(0 * c(-1.5, -1.5, -1.5, -1.5), "lines"))
P

# brisanje privremenih tablica
rm(worldMap,reg,indEU,europeCoords,europeanUnionTable,P,pom,baza,delta_bdp)

7.5. Word cloud riječi koje su se najčešće koristile u 3. broju skenera

skripta word_cloud.R

8. Sljedeći koraci

Do sada nije bilo puno govora o in-house podacima. To je još work in progress. Ako nekoga zanima, ovako izgleda struktura skladišta podataka. Pri čemu svaki od navedenih čvorova je jedna vrsta iznosa koji se pohranjuje u bazi ima svoja pravila. Taj gordijski čvor ćemo morati raspetljati i pripremiti podatke (odraditi onih 80% posla) tako da možemo pristupiti analizi na kvalitetan način.

library(tidyverse)
library(lubridate)
library(readxl)

# Funkcija za kopiranje u excel ####
skopiraj <- function(x,row.names=FALSE,col.names=TRUE,...) {
  write.table(x,"clipboard",sep="\t",row.names=row.names,col.names=col.names,...)
}

load("finpodaci.Rda")

# 0. Popis obrazaca, izvještaja, redaka i stupaca ####
#popis <- finpodaci %>% select(sektor,izvjestaj,obrazac,oznaka_obrasca,oznaka_retka,redak,stupac,stupac_naziv) %>% distinct()

# 1. Osiguranja - bilanca ####
os_bilanca <- finpodaci %>% filter(izvjestaj %in% c("TIDO","TIDRE","TIDO-RE") & oznaka_obrasca=="Standardno" & obrazac %in% c("Bilanca","IFP") & stupac_naziv %in% c("TIDO - Bilanca - Tekuća godina - Život","TIDO - Bilanca - Tekuća godina - Neživot ","TIDRE - Bilanca - Tekuća godina - Život","TIDRE - Bilanca - Tekuća godina - Neživot ","TIDO-RE - IFP - Tekuća godina - Neživot ","TIDO-RE - IFP - Tekuća godina - Život")) %>% unite("obrazac",izvjestaj,obrazac,sep="-") %>% unite("redak",oznaka_retka,redak,sep=".") %>% select(datum,vrsta=stupac,subjekt,obrazac,redak,iznos) %>% mutate(vrsta=str_trim(vrsta),redak=str_trim(redak))
# uvoz razina iz excela
razine <- read_excel("Mapiranje obrazaca - osiguranja.xlsx",sheet = "za_izvoz_bilanca")
os_bilanca <- full_join(os_bilanca,razine,by=c("obrazac","redak")) %>% na.omit()

# Struktura imovine
pom <- os_bilanca %>% group_by(datum,razina2) %>% filter(datum>="2011-09-30" & razina1=="Imovina") %>% summarise(iznos=sum(iznos,na.rm=T)/1000000000)
ggplot(pom,aes(x=datum,y=iznos,fill=razina2)) + geom_area() + ggtitle("Imovina") + theme(legend.position = "top") + theme(legend.position = "top") + labs(x="",y="mlrd. HRK")

# Struktura ulaganja
pom <- os_bilanca %>% group_by(datum,razina3) %>% filter(datum>="2011-09-30" & razina2=="Ulaganja") %>% summarise(iznos=sum(iznos,na.rm=T)/1000000000)
ggplot(pom,aes(x=datum,y=iznos,fill=razina3)) + geom_area() + ggtitle("Ulaganja") + theme(legend.position = "top") + theme(legend.position = "top") + labs(x="",y="mlrd. HRK")

# Struktura obveza
pom <- os_bilanca %>% group_by(datum,razina2) %>% filter(datum>="2011-09-30" & razina1=="Obveze") %>% summarise(iznos=sum(iznos,na.rm=T)/1000000000)
ggplot(pom,aes(x=datum,y=iznos,fill=razina2)) + geom_area() + ggtitle("Obveze") + theme(legend.position = "top") + theme(legend.position = "top") + labs(x="",y="mlrd. HRK")

# Struktura tehničkih pričuva
pom <- os_bilanca %>% group_by(datum,razina3) %>% filter(datum>="2011-09-30" & razina2=="Tehničke pričuve") %>% summarise(iznos=sum(iznos,na.rm=T)/1000000000)
ggplot(pom,aes(x=datum,y=iznos,fill=razina3)) + geom_area() + ggtitle("Tehničke pričuve") + theme(legend.position = "top") + labs(x="",y="mlrd. HRK")

# brisanje privremenih tablica
rm(finpodaci,os_bilanca,pom,razine)